中文字幕无码乱码人妻系列蜜桃|一二三四在线观看视频韩国|一区二区三区国产美女在线播放|欧洲熟妇色xxxx欧美老妇多毛

聯(lián)
咨詢熱線:

17661095540

聯(lián)系QQ:

2863379292

官方微信:

百度如何判斷網(wǎng)頁文章的重復(fù)度

網(wǎng)站優(yōu)化

導(dǎo)讀:在這個科技高度發(fā)達(dá)的時代,百度已經(jīng)成為人們能獲取消息的主要途徑。但如今的百度,到處充斥著一些重復(fù)的內(nèi)容,對用戶的訪問造成很大的困擾。因此,百度需要對網(wǎng)頁重復(fù)進(jìn)行判斷,對重

發(fā)表日期:2019-08-07

文章編輯:興田科技

瀏覽次數(shù):13232

標(biāo)簽:

在這個科技高度發(fā)達(dá)的時代,百度已經(jīng)成為人們能獲取消息的主要途徑。但如今的百度,到處充斥著一些重復(fù)的內(nèi)容,對用戶的訪問造成很大的困擾。因此,百度需要對網(wǎng)頁重復(fù)進(jìn)行判斷,對重復(fù)的網(wǎng)頁,只選取一些高質(zhì)量的我那工業(yè),共用戶瀏覽。然而,現(xiàn)有技術(shù)中一般是通過比較兩個頁面的內(nèi)容和借點(diǎn),來確認(rèn)兩個頁面的相似度。

百度如何判斷網(wǎng)頁文章的重復(fù)度 衡陽怎樣推廣網(wǎng)站

這種方法能夠計算的比較準(zhǔn)確,可時間復(fù)雜度太高,計算很費(fèi)時間。通過對一個頁面中的某些重要信息進(jìn)行簽名,然后比較兩個頁面的簽名,來計算相似度,這種方式比較簡單高效,計算速度比較快,比較適合百度這種海量信息的應(yīng)用場景。

1,網(wǎng)站重復(fù)內(nèi)容的判斷

A,獲取多個網(wǎng)頁;

B,分別提取網(wǎng)頁的網(wǎng)頁正文;

C,從網(wǎng)頁正文中提取一個或多個句子,并根據(jù)一個或多個句子計算網(wǎng)頁正文句子簽名;

D,根據(jù)網(wǎng)頁正文句子簽名對多個網(wǎng)頁進(jìn)行聚類;

E,針對每一類下的網(wǎng)頁,計算網(wǎng)頁的附加簽名;

F,根據(jù)附加簽名判斷每一類下的網(wǎng)頁是否重復(fù)。

網(wǎng)站頁面基本架構(gòu)

提取正文

A,對網(wǎng)頁進(jìn)行分塊;

B,對分塊后的網(wǎng)頁進(jìn)行塊過濾,以獲取包含網(wǎng)頁正文的內(nèi)容快;

C,從內(nèi)容塊中提取網(wǎng)頁正文。

正文分句

A,對網(wǎng)頁正文進(jìn)行分句;

在本步驟中,可利用分號,句號,感嘆號等表示句子完結(jié)的標(biāo)志符號來對網(wǎng)頁正文進(jìn)行分句。此外,還可以通過網(wǎng)頁正文的視覺信息來對網(wǎng)頁正文進(jìn)行分句。

B,對分句后的網(wǎng)頁正文進(jìn)行過濾及轉(zhuǎn)換;

在步驟中,先過濾掉句子中的數(shù)字信息;版權(quán)信息以及其他對網(wǎng)頁重復(fù)判斷不起決定性作用的信息。隨后,對句子進(jìn)行轉(zhuǎn)換,例如,進(jìn)行全角/半角轉(zhuǎn)換或者繁體/簡體轉(zhuǎn)換,以使得轉(zhuǎn)換后的句子的格式統(tǒng)一。

C,從過濾及轉(zhuǎn)換后的網(wǎng)頁正文中提取長的一個或多個句子;

在本步驟中,過濾及轉(zhuǎn)換后的網(wǎng)頁正文提取出長的一個句子或者做場的預(yù)定數(shù)量連續(xù)句子的組合。例如,某個網(wǎng)頁實(shí)例中,經(jīng)過過濾及轉(zhuǎn)換后的某段長,遠(yuǎn)超其他句子,因此可選擇該段為網(wǎng)頁正文句子,或者選擇長的連續(xù)句子組合作為網(wǎng)頁正文句子。

D,對一個或多個句子進(jìn)行hash簽名運(yùn)算,以獲取網(wǎng)頁正文句子簽名。

simhash算法就是比較各網(wǎng)頁的附加簽名是否相同或相似來判斷網(wǎng)頁是否重復(fù)。具體來說,在比較利用simhash簽名運(yùn)算獲得的網(wǎng)頁正文簽名時,比較網(wǎng)頁正文簽名的不同位數(shù),不同位越少,表示網(wǎng)頁重復(fù)的可能性越高,在比較其他的附加簽名時,若附加簽名相等,表示網(wǎng)頁在該緯度上重復(fù)。

總結(jié):

1、兩個網(wǎng)頁的真實(shí)標(biāo)題簽名相同。

2、兩個我那工業(yè)的網(wǎng)頁內(nèi)容簽名相同。

3、兩個網(wǎng)頁的網(wǎng)頁正文簽名的不同位數(shù)小于6.。

4、兩個網(wǎng)頁的網(wǎng)頁位置簽名相同,并且url文件名簽名相同。

5、評論塊簽名、資源簽名、標(biāo)簽標(biāo)題簽名、摘要簽名、url文件名簽名中有三個簽名相同。

附加信息整站判斷重復(fù)標(biāo)準(zhǔn):

相關(guān)推薦

更多新聞

久久人人玩人妻潮喷内射人人| 欧洲女人牲交性开放视频| 131mm少妇做爰视频| 日本少妇寂寞少妇aaa| 中国老太婆bb无套内射| 久久综合伊人77777麻豆| av亚洲精品一区二区| 久久人人爽人人爽人人片av| 无码国产精品一区二区免费式直播 | 亚洲一区二区三区成人网站| 亚洲中文字幕无码爆乳app| 伊人色综合久久天天小片| 激情亚洲一区国产精品| 久久婷婷色综合一区二区| 熟妇人妻久久中文字幕| 久草日b视频一二三区| 80s国产成年女人毛片| 爆乳一区二区三区无码| 中文字幕人妻少妇久久| 国产欧美另类精品久久久| 老熟妇高潮喷了╳╳╳| 国产精品自在线拍国产电影| 亚洲自偷自拍另类12p| 免费无码黄十八禁网站在线观看| 亚洲国产av高清无码| 国产视频区一区二区三| 久久无码高潮喷水| 日产精品久久久久久久蜜臀| 特级无码毛片免费视频尤物| 亚洲人成伊人成综合网久久久| 偷拍激情视频一区二区| 深夜a级毛片免费视频| 国语精品视频自产自拍| 欧美丰满一区二区免费视频 | 国产精品亚洲专区无码唯爱网| 亚洲乱色熟女一区二区| 日本熟妇人妻xxxxx-欢迎您| 亚洲欧美乱综合图片区小说区| 巨大欧美黑人xxxxbbbb| 天干天干天啪啪夜爽爽av| 最新麻豆精品在线视频|